Ông tên thật là Phan Đình Dinh, quê làng Địch Lễ, xã Nam Vân, huyện Nam Trực, tỉnh Nam Định (nay là xã Nam Vân, thành phố Nam Định, tỉnh Nam Định). Ông sinh trưởng trong gia đình nhà nho nghèo, cha mất sớm, mẹ ông đã tần tảo nuôi 8 người con. Ông là em trai của Lê Đức Thọ và là anh trai của Đại tướng Mai Chí Thọ.

Ông tham gia hoạt động cách mạng từ năm 1930. Năm 1939, ông được kết nạp vào Đảng Cộng sản Đông Dương.

Sau Cách mạng Tháng Tám, ông làm Bí thư, kiêm Chủ tịch tỉnh Bắc Giang, sau đó giữ nhiều trọng trách ở Khu uỷ Việt Bắc và các chức vụ quan trọng khác của chính phủ, quân đội vào những thời khắc khó khăn nhất.

Ông được phong quân hàm Thiếu tướng tháng 4 năm 1974, Trung tướng năm 1984 và Thượng tướng tháng 12 năm 1986.